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Verfahren zur Brfassung der vorausliegenden Umgebung eines 
Strafeenf ahrzeugs mittels eines Umgebung serf as sungssys terns 



Die Erfindung betrifft ein Verfahren zur Erfassung der vor- 
ausliegenden Umgebung eines Strafienf ahrzeugs mittels eines 
Umgebungserf assungssystems . 



Zur Unterstutzung des Fahrers werden in Fahrzeugen Fahreras- 
10 sistenzsysteme eingesetzt. Unter anderem kommen dabei umge- 
bungserf as sende Systeme zum Einsatz. Derartige Systeme dienen 
dazu, den Fahrer vor Hindernissen und anderen Gef ahrenquellen 
zu warnen und somit Verkehrsunf alle zu vermeiden. Hindernisse 
werden dabei vor allem mittels optischer Sensoren erkannt . 
15 Dazu sind am StraEenf ahrzeug CCD-Sensoren und Infrarot Senso- 
ren angebracht, urn sowohl bei Tag als auch bei Nachtfahrten 
Umgebungsdaten aufzunehmen. Die aufgenommenen Umgebungsdaten 
werden mittels einer mit der Sensorik in Verbindung stehenden ' 
Rechnereinheit zu einem Bild verarbeitet und dem Fahrer an- 
20 schliefiend beispielsweise auf einem Display dargestellt. Es 
ist' aber auch denkbar die Bilddaten einer Auswertung zu un-_ 
terziehen, urn .z.B. Objekte darin zu erkennen. 

In der US-Patentschrif t mit der Patentnummer 6 201 236 Bl 
25 wird ein optoelektronisches System fur die Objektdetektion 
innerhalb eines eingegrenzten Uberwachungsbereichs beschrie- 
ben. Das System umfasst zu diesem Zweck mehrere LED- Sender 
und Photoempf anger, welche paarweise an einem StraSenf ahrzeug 
angebracht sind. Die LED-Sender werden gepulst betrieben und 
30 leuchten dabei den Uberwachungsbereich aus. Im Uberwachungs- 
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bereich befindliche Objekte werden sodann durch das an den 
Objekten reflektierte Licht mittels der Photoelemente detek- 
tiert. Die LED- Sender und Empf anger werden mit einer Steuer- 
einheit betrieben, wobei das detektierte Signal derart ausge- 
5 wertet wird, dass zwischen dem von Objekten ref lektierten 
Licht und dem Umgebungs licht unterschieden werden kann. Die 
mittels der Steuereinheit durchgefuhrte Auswertung erfolgt 
selektiv, urn die Grenzen des Uberwachungsbereichs an die Um- 
gebungsbedingungen anpassen zu konnen. Beispielsweise 

10 schrumpft der Uberwachungsbereich, wenn enge und kurvenreiche 
StraSen passiert werden. Die Grofie des Uberwachungsbereichs 
hangt auch vom Fahrzeugtyp (LKW, PKW, . ..) ab, da sich mit 
diesem der Tote-Winkel und somit der zu uberwachende Bereich 
andert. Die Grofie des Uberwachungsbereichs ist derart festge- 

15 legt, dass das System andere Fahrzeuge, welche sich im Toten- 
Winkel des Fahrzeugs befinden und sich in einer benachbarten 
Fahrspur bewegen, detektieren kann. Der Uberwachungsbereich 
ist zudem begrenzt, so dass zwar benachbarte Fahrspuren aber 
keine Objekte wie z.B. Verkehrszeichen, Zaune, Mauern, etc. 

20 detektiert werden. 

In der UK-Patentanmeldung mit der Verof f entlichungsnummer 
GB 2352859 A wird ein Uberwachungs system beschrieben, welches 
zur Uberwachung eines 3D-Raums dient und wenigstens zwei Ka- 
|g5 meras umfasst. Innerhalb eines 3D-Raums werden ein oder meh- 
rere zu uberwachende Volumen definiert, hierbei handelt es 
sich beispielsweise urn Gef ahrenraume oder abgesperrte Gebie- 
te. Dadurch dass zwei oder mehr Kameras eingesetzt werden, 
kann das System erfassen, ob ein Objekt in das zu uberwachen- 
30 de Volumen eindringt. Das zu uberwachende Volumen wird durch 
den Benutzer mittels einer Zeichnung definiert. Die Zeichnung 
enthalt dabei die Konturen urn ein Objekt in mindestens zwei 
Ansichten. Wobei die Ansichten derart gewahlt sind, dass die- 
se der Kameraanordnung entsprechen und mittels der Kameraan- 
35 ordnung ein Objekt von beiden Kameras gleichzeitig erfasst 
wird. Sind die Kameras fur zwei sich im Sichtfeld bewegende 
Objekte koplanar angeordnet, • so werden mit den sich schnei- 
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denden optischen Strahlen der Kameras insgesamt vier begrenz- 
te Uberwachungsbereiche beschrieben. Die Uberwachungsbereiche 
andern sich dabei in ihrer GroSe mit der Bewegung der Objek- 
te. 

5 

Auf der Internetseite der Toyota Motor Corporation 
( www. toyota . co . jp/Showroom/All toyota lineup/LandCruiserCygnu 
s/saf ety/ index. html ) wird ein System zur Unterstutzung des 
Sehvermogens des Fahrers bei Nachtfahrten vorgestellt. Dabei 
10 wird mittels einer im Nahinf raroten empf indlichen Kamera die 
Umgebung erfasst und dem Fahrer auf einem Head-Up -Dispaly an- 
gezeigt. Das System zeigt bei Abblendlicht den dem Lichtkegel 
des Fahrzeugs vorausliegenden, schwer erkennbaren Stra&enver- 
lauf sowie sich in der Umgebung befindliche Personen, Fahr- 
15 zeuge und Hindernisse an. Dem Lichtkegel des Abblendlichts 
schliefit sich dazu ein mit dem Nachtsichtsystem erkennbarer 
Bereich an. Der erkennbare Bereich liegt idealerweise bei et- 
wa 100m und reicht maximal bis etwa 150m. 

Das System dient auch als Assistent fur die Fernsicht, insbe- 
2 0 sondere in Situationen bei denen man nicht mit Fernlicht fah- 
ren kann. Das System stellt bei Fernlichtf ahrt dem Fahrer 
vorausliegende Inf ormationen bereit, durch Abbildung in di- 
rekter Sicht schwer erkennbarer Gegenstande. Durch die Ver- 
wendung von Nahinf rarotstrahlen kann das System den StraSen- 
zustand, auf die Strafie gefallene Gegenstande und andere 
StraJSeninf ormationen anzeigen. Dem Lichtkegel des Fernlichts, 
welches mit einer Reichweite von in etwa 180m angegeben wird, 
schliefct sich dazu der mit dem Nachtsichtsystem abbildbare 
Bereich an. Der abbildbare Bereich liegt idealerweise bei un- 
30 gefahr 2 00m und wird maximal mit ca. 250m angegeben. 

Beim Betrieb eines derartigen Systems wirkt sich unter realen 
Bedingungen eine derart grofie Menge auszuwertender Daten sehr 
nachteilig aus . Dement sprechend sind die Anf orderungen an die 
Leistungsf ahigkeit der Hardware zum Erreichen der Echtzeitfa- 
35 higkeit sehr hoch. Deshalb wird bisher sehr aufwendige und 
zudem sehr teure Spezial -Hardware bei umgebungserf assenden 
Systemen eingesetzt. 
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Der Erfindung liegt daher die Aufgabe zu Grunde, ein Verfah- 
ren zu schaffen, mit dem unter Verwendung eines Umgebungser- 
fassungssystems die vorausliegende Umgebung eines StraSen- 
fahrzeug erfasst und dort befindliche Objekte erkannt werden 
konnen, wobei eine Echtzeitf ahigkeit des Systems durch eine 
einfache Datenverarbeitung realisiert wird. 

Die Aufgabe wird gemafc der Erfindung durch ein Verfahren mit 
den Merkmalen des Patentanspruch 1 gelost. Vorteilhafte Aus- 
gestaltungen und Weiterbildungen der Erfindung werden in den 
Unteranspruchen aufgezeigt. 

GemaS der Erfindung wird ein Verfahren zur Erfassung der vor- 
ausliegenden Umgebung eines StraSenf ahrzeugs unter Verwendung 
eines Umgebungserf assungssystems eingesetzt. Wobei es sich 
bei dem Umgebungserf assungssystem insbesondere urn ein Infra- 
rot-Nachtsichtsystem handeln kann. Zur Erfassung von Umge- 
bungsdaten umfasst das System wenigstens einen Umgebungssen- 
sor. Dabei kann es sich beispielsweise um ein Stereokamera- 
system, einen Radarsensor in Verbindung mit einer Kamera, ei- 
ne Kombination von IR-Laser und einer Kamera oder einen Ult- 
raschall sensor in Verbindung mit einer Kamera handeln. Mit- 
tels Sensordatenverarbeitung werden innerhalb der von dem Um- 
gebungssensor erfassten Umgebung sda ten Objekte erkannt. Wobei 
der Erkennungsbereich in welchem die Objekte erkannt werden 
derart gestaltet ist, dass dieser einem Teilbereich des von 
der Kamera erfassten Bereichs entspricht. In einer erfinderi- 
schen Weise wird der Erkennungsbereich in mehrere Teilberei- 
che unterteilt. Aufgrund der Unterteilung in solche Erken- 
nungsteilbereiche konnen Umgebungsdaten sodann einer spezifi- 
schen Auswertung unterzogen werden. Beispielsweise erfolgt 
die Auswertung in einem nahen Bereich mit einer hoheren Prio- 
ritat als in einem entfernteren Bereich. Auch ist es denkbar 
fur verschiedene Erkennungsbereiche unterschiedliche Rechen- 
leistungen zur Verfugung zu stellen, z.B. aufwendige, mehr- 
stufige Algorithmen. 
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In einer weiteren erf inderischen Weise wird vor der Untertei- 
lung des Erkennungsbereichs in mehrere Teilbereiche im Erken- 
nungsbereich eine Fahrspur erkennung durchgef uhrt . Zur Ermit ti- 
lling des Verlaufs der Fahrspur hat es sich bewahrt Bildverar- 
beitungsverfahren einzusetzen. Es ist aber auch denkbar, die 
Fahrspur aufgrund der Inf ormationen eines Navigationssystems 
zu ermitteln. Die Fahrspur kann direkt in die Bilder der Um- 
gebungser fas sung eingezeichnet und dem Fahrer dargestellt 
werden . 

Mit der Erfindung wird es erst moglich eine echtzeitf ahige 
vorausschauende Umgebungserf assung unter Verwendung von Stan- 
dard-Hardware durchzufuhren. Durch eine spezifische Auswer- 
tung innerhalb einzelner Erkennungsteilbereiche einerseits 
und einer Eingrenzung des Erkennungsbereichs auf den Bereich 
der Fahrspur andererseits, wird die Menge der auszuwertenden 
Daten erheblich reduziert und somit eine schnelle Verarbei- 
tung der Daten bei der Umgebungserf assung moglich. 

In einer gewinnbringenden Ausfuhrungsf orm der Erfindung, er- 
folgt die Eingrenzung des Erkennungsbereichs derart, dass zur 
Fahrspurbegrenzung zusatzlich ein weiterer vordef inierter To- 
leranzbereich hinzukommt. Somit ist es moglich, die Erkennung 
nicht nur auf die Fahrspur einzuschranken, sondern zusatzlich 
fur die einzelnen Erkennungsteilbereiche eine Auswertung in 
den neben der Fahrspur liegenden Toleranzbereichen durchzu- 
fuhren. Damit konnen sich am StraSenrand befindliche Objekte, 
wie Verkehrszeichen, Personen, etc. innerhalb von Erkennungs- 
teilbereichen erfasst und somit spezifisch auf die einzelnen 
Teilbereiche bezogen ausgewertet werden. Der Toleranzbereich 
kann in die Bilder der Umgebungserf assung eingezeichnet wer- 
den. 

Die Ob jekt erkennung kann durch die Bildverarbeitung bei- 
spielsweise dergestalt erfolgen, dass diese die Umgebungsda- 
ten auf einem Display zur Bewertung durch eine Person dar- 
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stellt. Alternativ bietet es sich fur eine automatische Aus- 
wertung an, eine rechnergestutzte Erkennung durchzuf uhren . 
Zur automat is chen Ob j ekterkennung eignen sich insbesondere 
auf Methoden der Sensordatenverarbeitung basierende Verfah- 
5 ren. Umfasst der Umgebungssensor beispielsweise eine Kamera, 
eignen sich in vorteilhaf ter Weise Bildverarbeitungsmethoden 
zur Verarbeitung der Umgebungsdaten. Zu diesem Zweck gibt es 
bereits eine Vielzahl an Methoden, welche aus dem Stand der 
Technik bekannt sind, wie beispielsweise Template-Matching, 
10 Kanten- oder konturbasierte Verfahren. Das Erf indungsgemaSe 
Verfahren ist im Zusammenhang mit Bildverarbeitungsmethoden 
| besonders vorteilhaf t, da die in den unterschiedlichen Erken- 
nungsteilbereichen auftretenden ObjektgroEen im Voraus gut 
abschatzbar sind. Bildverarbeitungsalgorithmen konnen so fur 
15 jeden einzelnen Erkennungsteilbereich optimal adaptiert wer- 
den. Beispielsweise ist es bei der Verwendung eines Template- 
Matching Verfahrens moglich, innerhalb eines Erkennungsteil- 
bereichs mit einer geringen Anzahl an Templates zu arbeiten, 
wobei in etwa dieselben Objektgrofien und Objekttypen prasen- 
20 tiert werden. Durch die Verwendung einer geringen Anzahl an 
Templates, wird das Verfahren entsprechend schnell abgearbei- 
tet. 

Auch ist es denkbar, zur Auswertung im Erkennungsbereich eine 
5 Objektklassif ikat ion durchzuf uhren . Wobei die Objektklassif i- 
kation alleine oder zusatzlich in Kombination mit anderen 
Verfahren eingesetzt werden kann, vorwiegend urn Fehlalarme zu 
minimieren. Insbesondere bei den Klassif ikationsverf ahren, 
welche auf dem Lernen aus Beispielen beruhen, konnen fur un- 
30 terschiedliche Erkennungsteilbereiche unterschiedliche Klas- 
sif ikatoren adaptiert werden. Zur Adaption der Klassif ikato- 
ren werden fur unterschiedliche Erkennungsteilbereiche unter- 
schiedliche Lernstichproben generiert . Dabei umfasst eine 
Lernstichprobe fur einen Erkennungsteilbereich nur solche 
35 Muster, deren Objekttyp auch tatsachlich innerhalb des Erken- 
nungsteilbereichs auftauchen kann. Beispielsweise tauchen 
Verkehrszeichen nicht innerhalb der Fahrspur, sondern am 
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Pahrspurrand auf . Auch lasst sich die Skalierung fur ein Mus- 
ter .einer Lernstichprobe innerhalb eines Erkennungsteilbe- 
reichs gut vorhersagen, so dass die Anzahl der Muster gering 
sein kann. 

Beispielsweise kann aufgrund einer Klassif ikation ein mittels 
Bildverarbeitung detektiertes Objekt dahingehend uberpruft 
werden, ob es sich dabei tatsachlich urn ein Hindernis handelt 
Oder urn ein anderes Objekt das ublicherweise innerhalb einer 
Verkehrsszene auftauchen kann und keine Gefahr darstellt, 
z.B. entgegenkommender Verkehr. 

In einer weiteren vorteilhaf ten Ausgestaltung der Erfindung 
wird der Abstand zu den mittels Bildverarbeitungsmethoden 
oder Klassif ikationsverf ahren erkannten Objekten ermittelt. 
Der Fahrer kann dadurch beispielsweise rechtzeitig vor Gefah- 
ren oder Hindernissen gewarnt werden. Wobei der Abstand zu 
Objekten mittels einem Entf ernungsmessenden Sensor gemessen 
werden kann, z.B. mit einem Laser- oder Radarsensor. Der Ab- 
stand zu Objekten kann aber auch anhand der Bilddaten der Um- 
gebungserfassung ermittelt werden. Auch ist es denkbar den 
Abstand anhand der Zuordnung eines erkannten Objekts zu einem 
Erkennungsteilbereich zu ermitteln. 

Fur die Obj ektdetektion kann eine Kombination aus abstands- 
und geschwindigkeitsmessenden sowie klassif izierender Verf ah- 
ren eingesetzt werden. Durch den Einsatz von Tracking - 
Verfahren ist eine Auswertung im Erkermungsbereich dergestalt 
moglich, dass sowohl die Bewegungsrichtung als auch die Bewe- 
gungsgeschwindigkeit von Objekten erfasst werden kann. Insbe- 
sondere kommen dabei solche Verf ahren zum Einsatz, mit denen 
Unterschiede in der Querbewegung gut erkannt werden. Bei- 
spielsweise konnen dem Fahrer plotzlich auftauchende Hinder- 
nisse oder ausscherende Fahrzeuge angezeigt werden. 

In besonders vorteilhaf ter Weise kann das erf indungsgemafce 
Verf ahren im Zusammenhang mit einem Sicherheitssystem in ei- 
nem Strafienfahrzeug eingesetzt werden, urn auf andere Fahr- 
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zeug-interne Systeme einzuwirken. Beispielsweise konnen zur 
Kollisionsvermeidung Steuersignale an die Steuereinheit einer 
ACC-Anwendung ubertragen werden. Auch konnen Signale an Si- 
cherheitseinrichtungen ubertragen werden, beispielsweise urn 
5 den Airbag vorzuaktivieren. 

Im Folgenden wird ein Ausfuhrungsbei spiel der Erfindung an- 
hand einer Figur im Detail erlautert . 

10 Beispielhaft zeigt die Figur eine Verkehrsszene unter Verwen- 
dung des erf indungsgemafien Verfahren, zur Erfassung der vor- 
ausliegenden Umgebung eines StraSenf ahrzeugs (1) mittels ei- 
nes Umgebungserf assungssystems . Wobei sich das StraiSenf ahx- 
zeug auf einer StraSe mit mehreren Fahrspuren (2) befindet. 
15 Die Begrenzungen (6) des Abbildungsbereichs der umgebungser- 
fassenden Kamera ragen uber die Fahrspurbegrenzungen (3) hin- 
aus. Der Erkennungsbereich des Systems soli hierbei nur einen 
Teilbereich des von der Kamera abbildbaren Bereich umfassen. 
Der Erkennungsbereich soil zudem in mehrere Teilbereiche 
20 (A...D) eingeteilt werden, urn die Umgebungsdaten einer mehr- 
stufigen Auswertung zu unter Ziehen. Der Erkennungsbereich 
wird in diesem Beispiel auf den Bereich eingeschrankt , wel- 
cher sich innerhalb der Fahrspurbegrenzungen (3) befindet. 
Zusatzlich kommt zum Erkennungsbereich ein weiterer Toleranz- 
bereich (5) hinzu, urn beispielsweise in diesem Bereich eine 
Verkehrszeichenerkennung durchzuf uhren. Wird der Mittelstrei- 
fen (4) mit berucksichtigt , entstehen beispielsweise bei zwei 
Fahrspuren (2) wie in der Figur gezeigt bis zu vier Erken- 
nungsteilbereiche (C1...C4) nebeneinander . Entsprechend ist 
3 0 es denkbar, dass die Anzahl der nebeneinanderliegenden Erken- 
nungsteilbereiche mit der Anzahl der Fahrspuren (2) zunimmt. 
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1. Verfahren zur Erfassung der vorausliegenden Umgebung ei- 
nes Strafcenfahrzeugs mittels eines Umgebungserf assungs- 
systems, insbesondere eines Infrarot-Nachtsichtsystems, 
bei dem die Erfassung der Umgebungsdaten mittels eines 
Umgebungssensors erfolgt, 

\ind mittels Sensordatenverarbeitung Objekte innerhalb den 
von dem Umgebungssensor erfassten Umgebungsdaten erkannt 
werden, 

wobei der Erkennungsbereich, in welchem die Objekte er- 
kannt werden einem Teilbereich des von dem Umgebungssen- 
sor erfassten Bereichs entspricht, 
dadurch gekennzeichnet, 
dass der Erkennungsbereich in mehrere Teilbereiche unter- 
teilt ist, und jeder dieser Teilbereiche einer spezifi- 
schen Auswertung unterzogen wird. 

2. Verfahren nach Anspruch 1, 

dadurch gekennzeichnet, 
dass vor der Unterteilung des Erkennungsbereichs in meh- 
rere Teilbereiche im Erkennungsbereich, 

entweder mittels Methoden der Bildverarbeitung eine Fahr- 
spurerkennung durchgefuhrt wird, 

oder mittels der Daten eines Navigationssystems eine 
Fahrspur festgelegt wird, 

urn nachtraglich den Erkennungsbereich auf die Fahrspur 
einzugrenzen. 
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3 . Verf ahren nach Anspruch 2 , 

dadurch gekennzeichnet, 
dass die Eingrenzung des Erkennungsbereichs derart er- 
folgt, dass zur Fahrspurbegrenzung zusatzlich ein weite- 
rer vordef inierter Toleranzbereich hinzukommt . 

4. Verf ahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass zur Auswertung im Erkennungsbereich eine Objekter- 
kennung mittels Bildverarbeitungsmethoden durchgefuhrt 
wird. 

5. Verf ahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass zur Auswertung im Erkennungsbereich eine Objektklas- 
sifikation mittels Klassif ikationsverf ahren durchgefuhrt 
wird, urn Fehlalarme ausschlieSen zu konnen. 

6. Verf ahren nach einem der Anspruche 4 Oder 5, 
dadurch gekennzeichnet, 

dass zur Auswertung im Erkennungsbereich der Abstand zu 
erkannten Objekten ermittelt wird, urn rechtzeitig uber 
Hindernisse informieren zu konnen. 

7. Verf ahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass zur Auswertung im Erkennungsbereich mittels Tra- 
ckingverf ahren eine Erfassung der Bewegung von Objekten 
durchgefuhrt wird, urn zu erkennen ob deren Bewegungsrich- 
tung der Eigenbewegung des Fahrzeugs entspricht. 

8 . Verwendung des Verf ahrens nach einem der vorgehenden An- 
spruche, als Sicherheitssystem in einem Strafienf ahrzeug, 
insbesondere urn auf andere f ahrzeug- interne Systeme ein- 
zuwirken . 
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Bezugszeichenliste 



1 Strafienf ahrzeug mit einem 
Umgebungserf assungssystem 
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3 Fahrspurbegrenzung 
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5 Toleranzbereich 

6 Begrenzung des Abb il dung sbereichs 
der Kamera 



A1...D4 Erkennungsteilbereiche 
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Zur Unterstiitzung des Fahrers werden bei Strafienf ahrzeugen 
umgebungserfassende Systeme eingesetzt. Dazu sind am StraSen- 
fahrzeug optische Sensoren angebracht, urn Umgebungsdaten auf- 
zunehmen. Die auf genommenen Umgebungsdaten werden mittels ei- 
ner Rechnereinheit zu einem Bild verarbeitet und dem Fahrer 
10 anschlieSend, beispielsweise auf eihem Display, dargestellt. 
Zusatzlich konnen die Bilddaten einer weiteren Auswertung un- 
terzogen werden, urn z.B. Objekte darin zu erkennen. Dazu muss 
jedoch eine sehr groiSe Menge an Daten verarbeitet werden, so 
dass die Anf orderungen an die Leistungsf ahigkeit der Hardware 
15 sehr hoch sind, urn eine Echtzeitf ahigkeit mit dem System zu 
erreichen. Deshalb wird ein Verfahren geschaffen, das eine 
Echtzeitf ahigkeit des Systems mittels einer einfachen Daten- 
verarbeitung realisiert. Durch eine mehrstufige Auswertung 
innerhalb einzelner Erkennungsteilbereiche einerseits und ei- 
ner Eingrenzung des Erkennungsbereichs auf den Bereich der 
Fahrspur andererseits, wird die Menge der auszuwertenden Da- 
ten erheblich reduziert und somit eine schnelle Verarbeitung 
der Daten bei der Umgebungserf assung moglich. 



